otutil: Add a few more helper functions

To be used by wip/etc-writable branch.

core: Refactor diff to be an internal API

For future use by other code.

ostadmin: Also ensure /ostree/modules exists

We depend on host kernel for now.

build: Add dist-snapshot

Take the current git HEAD and make a tarball from it; should be useful
for putting snapshots into Poky.

Use correct libgsystem

Accidentally pushed a local patch.

Merge remote-tracking branch 'aperezdc/fixes'

configure.ac: Fix checks for libarchive

When configuring without passing --enable-triggers-only, checks for
libarchive were not being done. Shuffling around the checks solves
the issue.

Update libgsystem

core: Use O_NOATIME to open metadata

We really don't need atime for metadata, it's just a speed hit.

repo: Call fdatasync() before adding objects to the repo

I run builds on my laptop, but it also crashes about 1/4 of the time
while suspending.  It's definitely undesrirable to get e.g. empty
.dirtree objects because they corrupt builds.  Concretely, I was
getting empty contents committed for xorg-util-macros.

Now, we used to write out temporary files using g_file_replace() which
does a fsync() during close, but then switched to a more "manual"
g_file_append_to().

We could switch back to g_file_replace(), but the problem is, we don't
want to call fsync() on temporary files in the case where we already
have the object.  Attempting to add an object we already have is a
*very* common case.

This is both the old and new code sequence for the case where an
object is already stored:

open(temp, O_WRONLY)
write() write() write()
close()
lstat(objects/3a/9fe332...) = 0
unlink(temp)

In the *new* code, here's the case where an object *isn't* stored:

open(temp, O_WRONLY)
write() write() write()
close()
lstat(objects/3a/9fe332...) = -1
open(temp, O_RDONLY)
fdatasync()
close()
rename(temp, objects/3a/9fe332)

Compare with the *old* code path for when an object isn't stored:

open(temp, O_WRONLY)
write() write() write()
close()
lstat(objects/3a/9fe332...) = -1
link(temp, objects/3a/9fe332)
unlink(temp)

The problem with this is we really need to fdatasync().  Also doing
just rename() instead of the weird link()/unlink() helps us express to
the filesystem that we want atomic semantics.  For example, BTRFS has
special handling for rename().

traverse: Set an explicit error when loading a corrupted commit

I had a empty files for a .commit and .dirmeta, and previously we were
segfaulting.

ostadmin: Cosmetic change for option defaults

ostadmin: Add --ostree-dir option to init

Matches the option for deploy.

repo: Ensure all stored files are readable

We really don't have a sane story for private files.  This is a
defensive step ensuring that with old versions of gnome-ostree,
components that mistakenly have un-world-readable files don't break
pulls.

Release 2012.9

build: Add --enable-triggers-only

For bootstrapping gnome-ostree, we need to install the triggers early
on, before we actually build the real ostree binary.

prune: Don't fail if an object isn't found

We expect most people to have partial repositories.

repo: Also traverse remote refs when enumerating objects

Otherwise ostree --repo=repo prune will delete everything =/

Improve the pango trigger

Use the new update-cache mode of pango-querymodules, which
automatically finds the correct cache file location.

Updated to look in both places by Colin Walters <walters@verbum.org>

https://bugzilla.gnome.org/show_bug.cgi?id=682411

libostree: Quiet compiler warning with --disable-libarchive

This function is only used if compiling with it.

ostree: Remove duplicate command in help output

The 'remote' command was listed twice. Also, the list
was almost-but-not-quite alphabetically sorted. Fix
that too.

build: Make /etc/kernel scripts default to automatic

When not cross compiling, we can test for /etc/kernel.  This fixes the
build automatically on RHEL6 for example.

packages: Add files that should have been in previous commit

These were intended to be with the embedded-dependencies commit.

pull: Only fetch pack files if we want more than 66% of their objects

This avoids some pathologically bad cases where we would fetch a 25MiB
pack file only to extract one 5KiB object from it.

pull: Exit mainloop immediately if we encounter an error

Otherwise we'll just hang.

pack: Support --content-only

This should be useful for implementing more sophisticated packing
strategies.

Also clean up the pack size default handling.

pull: Set an error when we get an unsuccessful HTTP response

Otherwise we'll e.g. try to parse 404 HTML as an object which will
fail.

Add infrastructure for automatic kernel updates

If the distribution supports running arbitrary scripts at kernel
updates, we can hook into it and update the ostree side of things
automatically.

ostadmin: add update-kernel command to regenerate initramfs and boot config

This command regenerates kernel-dependent files. It is meant to
be run after kernel upgrades in the host distribution, to keep
the ostree installation running, and attempts to figure out the
right version automatically (and without changing the ostree checkout)

Don't fail for EPERM when hardlinking

As the manual page doesn't say, but the in-code kernel documentation
shows, hardlinking for normal users can fail for a variety of
reasons (including very common situations such as non regular file
or non writable file), if the owner of the file does not match
the user linking (e.g. when checking out a shadow repo with a root-
owned master).
If that happens, fail back silently to copying instead of aborting
the whole operation.

https://bugzilla.gnome.org/show_bug.cgi?id=682298

ostree-run-triggers: fix typo in filename comparison function

The comparison function was comparing the first file to itself,
and this resulted in triggers being run in random order.

https://bugzilla.gnome.org/show_bug.cgi?id=682297

embedded-dependencies: Fix ACLOCAL_FLAGS, update for libgsystem

* Handle the libgsystem submodule
* ACLOCAL_FLAGS was broken
* Add srpm-embedded

Include pull and other external commands in usage output

ostadmin: fix command line handling in the builtins

Common code was duplicating the command name and not shifting
arguments properly, which thus required the builtins to be aware
of it, instead of being treated like subcommands.

configure: Fix libsoup detection

* The configure arg was named incorrectly; we don't rely on
libsoup-gnome, just libsoup.
* We need to use AS_IF

autogen: Fetch submodules before running automake

Otherwise automake can't find src/libgsystem.

Support non-builtin commands

 * Support executing commands in the path
 * This makes 'ostree-pull' work as 'ostree pull'

triggers: Print execution time for each trigger

ostadmin: Use g_spawn_check_exit_status()

Just code cleanup.

ostadmin: Change command line for qemu deploy helper

The qemu helper really wants to copy kernel modules, but not
update the system bootloader.  Allow it to reuse ostadmin for
this.

Note that our previous path of shelling out to "cp -al" broke because
it refused to make cross-device links.

# Please enter the commit message for your changes. Lines starting
# with '#' will be ignored, and an empty message aborts the commit.
# On branch master
# Your branch is ahead of 'origin/master' by 1 commit.
#
# Changes to be committed:
#   (use "git reset HEAD <file>..." to unstage)
#
# modified:   src/libotutil/ot-gio-utils.c
# modified:   src/libotutil/ot-gio-utils.h
# modified:   src/ostadmin/ot-admin-builtin-deploy.c
#
# Untracked files:
#   (use "git add <file>..." to include in what will be committed)
#
# embedded-dependencies/glib/
# embedded-dependencies/libsoup/

ostadmin: Add --ostree-dir directory

This will be used by the qemu deployment script.

Automatically populate the git submodules in autogen.sh

TODO: update

ostadmin: Print an error message if run as non-root

See https://bugzilla.gnome.org/show_bug.cgi?id=680823

ostadmin: [incompat syntax change] Allow deploying any revision

The old command line syntax assumed you wanted the latest from
a given revision, but to bisect, you really want the ability
to deploy any given one.

Old:
$ ostadmin deploy gnomeos-3.6-i686-{runtime,devel}

New:

$ ostadmin deploy trees/gnomeos-3.6-i686-runtime
$ ostadmin deploy trees/gnomeos-3.6-i686-devel

And note that the deploy directory now changes to:
/ostree/trees/gnomeos-3.6-i686-devel

And now it's possible to:

$ ostadmin deploy trees/gnomeos-3.6-i686-devel trees/gnomeos-3.6-i686-devel^^^

pull: When --depth is specified, ensure we have all requested objects

We were previously optimizing by skipping object traversal if the refs
were unchanged, but if the user specifies a deeper depth than they did
before.

core: Add context when we fail to chmod()/chown()

This helps make things less confusing when we try to create a file not
owned by our uid, such as running ostree-pull as non-root on a
repository owned by root.

core: Drop ot_clear_hashtable for g_clear_pointer()

core: Drop ot_clear_ptrarray in favor of g_clear_pointer

core: Drop ot_clear_gvariant() in favor of g_clear_pointer

core: Remove ot_clear_checksum() in favor of g_clear_pointer()

core: Use g_spawn_check_exit_status()

pull: Only take up one terminal line for status output

And print total bytes transferred at the end.

Fix libgsystem submodule

Hard require GLib 2.34

Anyone wanting to build against an earlier version can use the
embedded-dependencies system.

Add libgsystem as git external

Don't replace ot_lfree and stuff yet though...to much code churn.

pull: Correctly display concurrent libsoup requests

The "status text" code was assuming that libsoup was only doing one
thing at a time, but that's never been the case.  Change the code to
display the status of all active requests.

core: drop dead/unused code

The daemon is a nice idea but needs a lot more thought.  Let's just
delete the unused code for now and come back to it later.

core: Drop ot_gfile_new_for_path

Not necessary anymore since we switched to GIO_USE_VFS=local in the
binaries.

pull: Fix a memory leak

pull: Fix use-after-free in async fetcher

Refcount the pending data structure.

Release 2012.8

build: Use LDADD libraries to link with, not LDFLAGS

This should fix the build with embedded glib.

Make more compiler warnings into errors

In particular, I want -Werror=format=2 to catch format string bugs.

main: Fix a format string error

embedded deps: Properly quote/handle PATH/LDFLAGS

core: Check out asynchronously

This can be a large performance win in certain circumstances:

 * Cold buffer cache (we don't block the whole process)
 * Requiring a copy instead of hardlink

tests: Just use OT_TESTS_DEBUG to say "save test data"

pull: Properly propagate errors

build: Fix syntax error in non-embedded build case

build: Various bugfixes for embedded-dependencies

core: Don't silence output of ostree-run-triggers

We want to see which triggers are being run by default.

triggers: Quiet GConf trigger

The default is just way, way too verbose.

Support building with embedded libsoup

Support building with embedded glib

triggers: Fix previous commit

Add fontconfig trigger

This wil regenerate the fontconfig caches, accounting for modifications in
the system font directories.

core: Fall back to copying checkouts on EMLINK/EXDEV

The previous fix to just ignore symbolic links for hard linking isn't
really good enough, since it can happen for empty files too.

Since this is an optimization, when we get EMLINK, let's instead just
fall back to copying.  This also applies to EXDEV.

ostbuild: Move to gnome-ostree module

Since we want to keep "ostree" buildsystem-independent, let's move
ostbuild out into the gnome-ostree module.

http://git.gnome.org/browse/gnome-ostree/commit/?id=04ba1926e33b442af1e357460e4415d4c0311e87

ostbuild: Fix previous commit (this should have been amended)

ostbuild: Fix -k option to git-mirror

ostbuild: Allow specifying components to git fetch

build: Actually, we need bleeding edge libsoup

The stable version compiles, but just hangs =/

build: Bump libsoup dependency

ostbuild: Add rootdir argument to deploy-qemu

ostbuild: Fix circular dependency between resolve and git-mirror

git-mirror was looking for the latest snapshot, which we don't
have until we resolve.

This leads to some code duplication.

core: Fix mkdtemp invocation

ostbuild: Add -k option to git-mirror

libwacom's sourceforge git server was down...

pull: Download and checksum asynchronously

This is quite a noticeable speedup when downloading loose objects.

core: Fix memory leak

core: Just require libsoup, not libsoup-gnome

TODO: Update

core: Switch to using mkdtemp() so we only depend on GLib 2.28

We claim to build against 2.28, let's actually make it work.

core: Drop some dead temporary file code

Trivial: fix a typo

ostbuild: Have resolve use git-mirror rather than duplicating code

This also brings us back to a sensible world of:

ostbuild resolve --fetch

Doing both fetch *and* writing out the updated revisions.

core: Don't checkout symbolic links via hardlink

Doing so can easily get us up to the maximum ext4 hardlink count.

ostbuild: add --diffstat option for source-diff

core: use GLIB_VERSION_MAX_ALLOWED=2.28

We want to build/run even on relatively old OSes, so that we can
be used to bootstrap and maintain newer builds.

core: Remove leftover debug print